合成自蒸馏实现小模型持续后训练
🧭 持续后训练 · 合成自蒸馏
KAIST AI · LG AI Research
提出合成自蒸馏，通过稍大同家族模型生成in-distribution监督，解决小模型持续后训练中获取与遗忘问题
📌 工作参考价值（4 点）
- 在电商/搜索场景持续更新轻量级 query 理解或 on-device 模型时，可借鉴「同家族稍大模型生成 in-distribution 伪标签」的蒸馏方式，避免直接使用真实用户反馈造成分布偏移和旧知识遗忘。
- 使用 rejection sampling 过滤低质量合成样本，能提升伪标签可靠性，适合电商/搜索中大量噪声标签或弱监督数据的场景。
- 持续学习前先量化模型输出分布偏移，发现偏移过大时强制启用 in-distribution 重写或防遗忘策略，可部署为在线监控指标。
- 低延迟场景（如移动端推荐特征提取、query 改写）可线下用稍大模型生成高质量训练数据，线上仅部署小模型，兼顾效果与推理成本。
马拉松者：超长程自主智能体
🧭 超长程自主编码 Agent 后训练 ★ 深度解读
University of Macau · Peking University · Ant Group
从 GitHub PR 自动合成任务、拒绝采样蒸馏与 GRPO+后期奖励，让 9B 开源模型具备 10+ 小时执行能力
📌 工作参考价值（4 点）
- 任务数据合成：从业务系统（推荐服务代码库、数据管道、广告投放平台）的 commit/PR 自动构造带单元测试验证的长程 Agent 任务；电商搜索推荐团队可基于历史工单、A/B 实验变更生成环境+指令+验收测试三元组，低成本扩充训练数据。
- 后期阶段奖励：在对话式推荐/导购 Agent 中用 LLM 判断会话后半段是否有高价值动作（如用户改变偏好后的有效重新推荐、复杂比价后的正确总结），给予额外奖励，防止模型在长交互中过早收尾或重复无效询问。
- 多样 harness 训练避免过拟合：针对 Agent 可能接入的不同执行环境（推荐 API、页面布局、工具集），在 RL 训练时轮换多种 harness，可提高跨场景泛化，与多环境交互评分/模拟器训练思路一致。
- 拒绝采样蒸馏：先用闭源大模型在真实任务上生成成功轨迹，仅保留 reward=1 样本对开源小模型做 SFT 初始化，再进入 RL 微调；适用于电商客服、导购 Agent 等需要长程规划的场景，降低对高质量标注轨迹的依赖。
长程搜索中上下文腐烂的诊断与缓解
🧭 上下文腐烂诊断与缓解策略
Shanghai Jiao Tong University · Fudan University · SII · GAIR
揭示长上下文导致LLM放弃回答的现象，提出上下文管理与拒绝采样两种缓解策略
📌 工作参考价值（4 点）
- 长程搜索Agent（如电商多步查询）可采用滑动窗口、摘要等上下文管理方法防止性能衰减，论文给出的七种方法对比可作为选型参考
- 后验拒绝采样策略：对Agent输出进行一致性过滤或置信度校准，过滤掉因上下文过长而冒出的放弃性答案，提升回答可靠性
- 诊断思路复用：可在线评估并监控模型在长上下文下的“放弃率”，一旦发现显著上升，自动触发上下文压缩或截断
- 工程实现上，将上下文管理与拒绝采样组合部署，可在不增加过多成本的情况下获得稳定收益
当LLM粗心读表：数据引用错误的衡量与减少
🧭 表格数据引用错误检测与校正
University of Southern California · AWS AI Labs
首次系统评估LLM表格推理中的数据引用错误，通过critic模型检测并过滤错误，答案准确率提升最高12.0%
📌 工作参考价值（4 点）
- 在Agent工作流中引入轻量级critic模型（4B参数）检测LLM生成中的数据引用错误，尤其适用于需要精确数值的广告预算计算、商品属性提取等场景。
- 使用critic-based过滤或拒绝采样，对候选回答进行后验验证，无需重训主模型即可提升最终答案可靠性，类似推荐系统中的多阶段过滤。
- 对于表格类输入（如用户画像、商品参数表），可训练专用的引用错误检测模型，作为安全校验层，降低因数值错漏导致的决策风险。
- 该方法展示了小模型（4B）辅助大模型推理的有效性，可参考用于电商搜索中的查询改写、结果解释等需要精准数据引用的环节。
学会对VLA说什么：几乎无害的视觉语言动作模型引导
🧭 具身智能 · VLA语言引导与安全拒绝 ★ 深度解读
Carnegie Mellon University
交互式搜索语言序列并利用共形预测实现无害化语言引导，显著提升冻结VLA的任务成功率
📌 工作参考价值（4 点）
- 冻结模型的语言层干预：在推荐或对话Agent中，若已有强大的基座模型（如LLM），无需微调模型权重，通过学习一个轻量的语言策略（LFP）在测试时动态改写用户指令或系统提示，即可引导模型行为，避免重训成本。
- 结构化语言空间搜索与蒸馏：通过VLM生成叙述先验，再基于LLM产生局部语义扰动，最后用闭环rollout筛选高奖励序列并蒸馏到小模型，这种方法可直接用于生成式推荐中的query/文案优化：先由大模型提供候选，再通过在线A/B或模拟环境筛选，最后蒸馏到轻量策略。
- 共形预测实现安全拒绝：训练一个改进头预测干预收益，再用共形预测校准阈值，当分布外时拒绝语言引导，退回原始指令。这种“无害优先”的安全机制可以应用到风险敏感的电商Agent中，如仅在高置信度下进行动态价格推荐或主动营销。
- 闭环语言反馈的恢复行为：与一次性改写指令不同，闭环语言策略能根据环境状态实时调整语言，实现错误恢复。在对话式推荐或多步Agent协作中，实时反馈和状态适应是提升任务完成率的关键。
打破熵的限制：多token预测与拒绝采样加速强化学习训练
🧭 LLM强化学习训练加速 · 多token预测
Qwen Team, Alibaba Inc.
揭示RL阶段熵升高与MTP接受率的负线性关系，通过拒绝采样与TV损失将接受率提至95%，实现1.8倍训练加速
📌 工作参考价值（4 点）
- 拒绝采样替代贪婪采样：在电商对话式推荐或Agent策略生成中，当使用MTP（或多token生成）加速推理时，若模型因在线学习（如RL更新）导致输出分布偏移，应使用概率拒绝采样而非贪婪接受，以保持高接受率和加速比。
- 端到端优化接受率指标：推荐或生成模型中若采用多步草稿验证机制（如Sequential Recommendation中的beam search加速），可设计类似TV loss的目标函数，直接最大化多步联合接受率，替代中间步骤的KL或交叉熵损失，可提升整体推理吞吐。
- 预训练加速模块避免在线开销：在RL训练的rollout阶段，MTP模块可在RL开始前用端到端损失充分训练并冻结，避免在线更新引入的计算代价和分布波动，这对需要稳定服务的推荐Agent尤其有用。
- 熵监控指导加速策略：实际部署中，可监测生成熵值动态调整MTP步长或是否启用加速，当熵上升时自动切换到拒绝采样或回退到逐token生成，平衡效率与质量。
Agentopia：长期智能体社会模拟与生命奖励学习
🧭 多智体社会模拟 · 生命奖励训练 ★ 深度解读
Fudan University · Independent Researcher · Johns Hopkins University · University of Science and Technology of China
实现10年规模的智能体生活模拟，通过生命奖励训练提升LLM的社交智能与角色扮演能力
📌 工作参考价值（4 点）
- 长期多agent模拟可作为训练数据工厂：在虚拟社会中生成海量交互轨迹，无需人工标注，可用于训练客服、导购等角色扮演型对话模型，降低数据成本。
- 生命奖励的多维设计（社会+主观+经济）可用于优化推荐或对话agent：定义复合奖励并采用拒绝采样挑选高质量轨迹微调，比直接RL更稳定，适合业务中的离线策略优化。
- 记忆文件系统（Memory Files）提供轻量级长期记忆方案，agent自主管理读写，可借鉴到电商个性化推荐中持续积累用户长期偏好，避免上下文窗口膨胀。
- 环境模型作为生成式引擎替代硬编码规则，可降低构建复杂模拟环境（如购物决策、多轮协商）的开发成本，利用LLM灵活提供反馈和编排。